Aprenentatge d'Occam

En la teoria de l'aprenentatge computacional, l'aprenentatge d'Occam és un model d'aprenentatge algorítmic on l'objectiu de l'alumne és produir una representació sucinta de les dades d'entrenament rebudes. Això està estretament relacionat amb l'aprenentatge probablement aproximadament correcte (PAC), on l'aprenent és avaluat pel seu poder predictiu d'un conjunt de proves.

L'aprenentatge d'Occam implica l'aprenentatge de PAC, i per a una gran varietat de classes de conceptes, també és cert el contrari: l'aprenentatge de PAC implica l'aprenentatge d'Occam.^[1]

Occam Learning rep el nom de la navalla d'Occam, que és un principi que estableix que, tenint en compte que totes les altres coses són iguals, s'hauria d'afavorir una explicació més curta de les dades observades en lloc d'una explicació més llarga. La teoria de l'aprenentatge d'Occam és una justificació formal i matemàtica d'aquest principi. Va ser mostrat per primera vegada per Blumer, et al.^[2] que l'aprenentatge d'Occam implica l'aprenentatge PAC, que és el model estàndard d'aprenentatge en la teoria de l'aprenentatge computacional. En altres paraules, la parsimònia (de la hipòtesi de sortida) implica poder predictiu.^[3]

La concisió d'un concepte ${\displaystyle c}$ a classe de concepte ${\displaystyle {\mathcal {C}}}$ es pot expressar per la longitud ${\displaystyle size(c)}$ de la cadena de bits més curta que pot representar ${\displaystyle c}$ en ${\displaystyle {\mathcal {C}}}$. L'aprenentatge d'Occam connecta la concisió de la sortida d'un algorisme d'aprenentatge amb el seu poder predictiu sobre dades no vistes.

Deixar ${\displaystyle {\mathcal {C}}}$ i ${\displaystyle {\mathcal {H}}}$ ser classes de conceptes que contenen conceptes i hipòtesis objectiu respectivament. Després, per a constants ${\displaystyle \alpha \geq 0}$ i ${\displaystyle 0\leq \beta <1}$, un algorisme d'aprenentatge ${\displaystyle L}$ és un ${\displaystyle (\alpha ,\beta )}$ -Algorisme d'Occam per ${\displaystyle {\mathcal {C}}}$ utilitzant ${\displaystyle {\mathcal {H}}}$ si, donat un conjunt ${\displaystyle S=\{x_{1},\dots ,x_{m}\}}$ de ${\displaystyle m}$ mostres etiquetades segons un concepte ${\displaystyle c\in {\mathcal {C}}}$, ${\displaystyle L}$ dona sortida a una hipòtesi ${\displaystyle h\in {\mathcal {H}}}$ de tal manera

• ${\displaystyle h}$ és coherent amb ${\displaystyle c}$ activat ${\displaystyle S}$ (això és, ${\displaystyle h(x)=c(x),\forall x\in S}$), i
• ${\displaystyle size(h)\leq (n\cdot size(c))^{\alpha }m^{\beta }}$ ^[4][5]

on ${\displaystyle n}$ és la longitud màxima de qualsevol mostra ${\displaystyle x\in S}$. Un algorisme d'Occam s'anomena eficient si s'executa en un polinomi de temps ${\displaystyle n}$, ${\displaystyle m}$, i ${\displaystyle size(c).}$ Diem una classe de conceptes ${\displaystyle {\mathcal {C}}}$ és Occam aprendre respecte a una classe d'hipòtesis ${\displaystyle {\mathcal {H}}}$ si existeix un algorisme Occam eficient per ${\displaystyle {\mathcal {C}}}$ utilitzant ${\displaystyle {\mathcal {H}}.}$